【A/B testing 實驗設計指標時，應考慮的三個面向】
對於資源有限的新創團隊來說，有各式各樣的使用者回饋，有各式各樣的新功能需要上線，這時候，花一點時間做 A/B tesing 就很重要，避免花了大把的時間新增、修改卻不見成效。以下是 A/B testing 新手可以考慮設定指標的面向，舉例來說，二手拍賣平台希望「調整每個產品的大小，顯示更多商品」，能夠造成的結果是「使用者看到更多商品」，以達到的目標是「更多人能夠在平台完成交易」：
1. 目標達成與否：成功指標 (Success Metrics/Output Metrics)
這個指標會決定實驗的成敗，所以通常會跟公司的主要目標一致，所以會偏向 Lagging Metric，但必須還是要在實驗 (通常是一到兩週) 期間能夠被觀察。在這裡的實例就會是「實際完成交易的人數」，但也因為二手平台有本身性質的特性，交易常常在線下完成，所以也可以退一步用「有送出聊天訊息給賣家的買家人數」當作指標。
2. 實驗假設是否為真：輸入指標 (Input Metrics)
因為調整、新增某項功能，是否會達到以上的成功指標，中間常常有幾段假設，所以驗證這些假設也是很重要的，像是如果假設「用戶看更多商品，更容易轉換」，那就要驗證「平均一個用戶瀏覽的商品數量」、「平均用戶瀏覽的頁面量」、「平均一個用戶點擊的商品量」，是否真的會造成「更容易轉換」。
3. 產品改動的連帶風險：健康指標 (Health Metrics)
每一項改動或是新增都會伴隨著風險，要全盤考量是否會影響現有的其他功能。像是「每個產品顯示變小，需要影藏部分功能，會不會影響用戶尋找這些功能？」，那就要追蹤「功能用量」。
事前做一點小測試，可以降低你一股腦進行開發、導致費時又無效的嘗試。然而有些時候會因為搜集的數據不夠，而無法看出顯著的結果，千萬不要因此而卡關、永遠無法上線或調整，尤其若是處於很早期的階段，建議你花最少的精力和人力、直接丟上線，讓市場告訴你答案吧！
By Sandi Wu, AppWorks Analyst
Search